import requests

"""
对于某些网站，在测试的时候请求几次，能正常获取内容。但是一旦开始大规模爬取，对于大规模且频繁的请求，网站可能会弹出验证码，或者跳转到登录认证页面，更甚者可能会直接封禁客户端的 IP，导致一定时间段内无法访问
们需要设置代理来解决这个问题，这就需要用到 proxies 参数

"""

# 设置代理
"""
 注意需要先启动代理软件，找到代理端口
"""
proxies = {
    'http': '127.0.0.1:7879',
    'https': '127.0.0.1:7879'
}

r = requests.get('https://www.instagram.com/', proxies=proxies)
print(r.status_code)


"""
若代理需要使用上身份认证，可以使用类似 http://user:password@host:port 这样的语法来设置代理
proxies = {'https': 'http://user:password@10.10.10.10:1080/',}
requests.get('https://httpbin.org/get', proxies=proxies)
"""